This work presents a set of neural network (NN) models specifically designed for accurate and efficient fluid dynamics forecasting. In this work, we show how neural networks training can be improved by reducing data complexity through a modal decomposition technique called higher order dynamic mode decomposition (HODMD), which identifies the main structures inside flow dynamics and reconstructs the original flow using only these main structures. This reconstruction has the same number of samples and spatial dimension as the original flow, but with a less complex dynamics and preserving its main features. We also show the low computational cost required by the proposed NN models, both in their training and inference phases. The core idea of this work is to test the limits of applicability of deep learning models to data forecasting in complex fluid dynamics problems. Generalization capabilities of the models are demonstrated by using the same neural network architectures to forecast the future dynamics of four different multi-phase flows. Data sets used to train and test these deep learning models come from Direct Numerical Simulations (DNS) of these flows.
translated by 谷歌翻译
Modern machine learning pipelines are limited due to data availability, storage quotas, privacy regulations, and expensive annotation processes. These constraints make it difficult or impossible to maintain a large-scale model trained on growing annotation sets. Continual learning directly approaches this problem, with the ultimate goal of devising methods where a neural network effectively learns relevant patterns for new (unseen) classes without significantly altering its performance on previously learned ones. In this paper, we address the problem of continual learning for video data. We introduce PIVOT, a novel method that leverages the extensive knowledge in pre-trained models from the image domain, thereby reducing the number of trainable parameters and the associated forgetting. Unlike previous methods, ours is the first approach that effectively uses prompting mechanisms for continual learning without any in-domain pre-training. Our experiments show that PIVOT improves state-of-the-art methods by a significant 27% on the 20-task ActivityNet setup.
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
开发有效的自动分类器将真实来源与工件分开，对于宽场光学调查的瞬时随访至关重要。在图像差异过程之后，从减法伪像的瞬态检测鉴定是此类分类器的关键步骤，称为真实 - 博格斯分类问题。我们将自我监督的机器学习模型，深入的自组织地图（DESOM）应用于这个“真实的模拟”分类问题。 DESOM结合了自动编码器和一个自组织图以执行聚类，以根据其维度降低的表示形式来区分真实和虚假的检测。我们使用32x32归一化检测缩略图作为底部的输入。我们展示了不同的模型训练方法，并发现我们的最佳DESOM分类器显示出6.6％的检测率，假阳性率为1.5％。 Desom提供了一种更细微的方法来微调决策边界，以确定与其他类型的分类器（例如在神经网络或决策树上构建的）结合使用时可能进行的实际检测。我们还讨论了DESOM及其局限性的其他潜在用法。
translated by 谷歌翻译
与分析气相色谱法 - 质谱（GC -MS）数据相关的挑战很多。这些挑战中的许多挑战源于以下事实：电子电离可能使由于高度的分裂程度与分子离子信号的损失而难以恢复分子信息。使用GC-MS数据，通常在密切洗脱峰之间共享许多常见的片段离子，因此需要进行复杂的分析方法。其中一些方法是完全自动化的，但是对数据可以在分析过程中引入伪影的数据做出了一些假设。化学计量方法（例如多元曲线分辨率或平行因子分析）特别有吸引力，因为它们是灵活的，并且对数据的假设相对较少 - 理想情况下会导致伪像较少。这些方法确实需要专家用户干预来确定每个区域的最相关区域和适当数量的组件，即$ k $。需要选择自动化区域，以允许使用高级信号反卷积的色谱数据自动批处理处理。在这里，我们提出了一种新的方法，用于自动化，不靶心的感兴趣的选择区域，该方法是根据平方的比率和第二个单数值分解的比率来解释GC-MS数据中存在的多元信息，以选择感兴趣的区域。在色谱图上移动的窗口。假设第一个奇异值主要解释了信号，而第二个奇异值主要解释了噪声，则可以将这两个值之间的关系解释为Fisher比率的概率分布。通过研究该算法不再挑选已知包含信号的色谱区的浓度来测试算法的灵敏度。
translated by 谷歌翻译
前列腺癌是全世界男性癌症第二大的癌症和第六主要原因。专家在诊断前列腺癌期间面临的主要问题是含有肿瘤组织的感兴趣区域（ROI）的定位。目前，在大多数情况下，该ROI的分割是由专家医生手动进行的，但是该程序受到某些患者的检测率低（约27-44％）或过度诊断的困扰。因此，几项研究工作解决了从磁共振图像中自动分割和提取ROI特征的挑战，因为此过程可以极大地促进许多诊断和治疗应用。然而，缺乏明确的前列腺边界，前列腺组织固有的异质性以及多种前列腺形状的多样性使这一过程非常难以自动化。在这项工作中，通过获得的MRI图像数据集对六个深度学习模型进行了培训和分析。来自Dijon中心的医院和Catalunya大学。我们使用分类跨环膜损失函数进行了多种深度学习模型（即U-NET，注意U-NET，密度密度，R2U-NET和R2U-NET）的比较。使用通常用于图像分割的三个指标进行分析：骰子分数，JACCARD索引和均方误差。为我们提供最佳结果分割的模型是R2U-NET，骰子，Jaccard和平均平方误差分别达到0.869、0.782和0.00013。
translated by 谷歌翻译
关于在线信息行为的数据的日益增长的可用性为政治传播研究带来了新的可能性。但是，这些数据的数量和多样性使它们难以分析，并提示需要开发自动化内容方法，这些方法依赖于广泛的自然语言处理技术（例如机器学习或基于神经网络）。在本文中，我们讨论如何使用这些技术来检测不同平台的政治内容。使用三个验证数据集，其中包括来自在线平台的各种政治和非政治文本文档，我们系统地比较了依赖词典，监督机器学习或神经网络的三组检测技术的性能。我们还使用大型检测模型的大集合（n = 66）检查了不同数据预处理模式（例如，驱动和停止词）对这些技术的低成本实现的影响。我们的结果表明，预处理对模型性能的影响有限，与基于神经网络和机器学习模型所获得的嘈杂数据的最佳结果相比，基于嘈杂的数据的基于词典模型的更强性能。
translated by 谷歌翻译
培训和评估语言模型越来越多地要求构建元数据 - 多样化的策划数据收集，并具有清晰的出处。自然语言提示最近通过将现有的，有监督的数据集转换为多种新颖的预处理任务，突出了元数据策划的好处，从而改善了零击的概括。尽管将这些以数据为中心的方法转化为生物医学语言建模的通用域文本成功，但由于标记的生物医学数据集在流行的数据中心中的代表性大大不足，因此仍然具有挑战性。为了应对这一挑战，我们介绍了BigBio一个由126个以上的生物医学NLP数据集的社区库，目前涵盖12个任务类别和10多种语言。 BigBio通过对数据集及其元数据进行程序化访问来促进可再现的元数据策划，并与当前的平台兼容，以及时工程和端到端的几个/零射击语言模型评估。我们讨论了我们的任务架构协调，数据审核，贡献指南的过程，并概述了两个说明性用例：生物医学提示和大规模，多任务学习的零射门评估。 BigBio是一项持续的社区努力，可在https://github.com/bigscience-workshop/biomedical上获得。
translated by 谷歌翻译
背景和目标。域移位是机器学习模型的泛化问题，当训练集的数据分布与模型部署时遇到的数据分布不同时发生的机器学习模型。由于实验条件，设备和捕获设置的方差，这在生物医学图像分段的背景下是常见的。在这项工作中，通过研究肿瘤球状体分割的神经风格转移算法和未配对的图像到图像转换方法来解决这一挑战。方法。我们已经在Spheroid Semonation的上下文中展示了具有4个深入学习分段模型的域移位问题，该模型在训练分布后的图像测试时实现了超过97％的IOU，但在应用于捕获的图像时，其性能下降到84 \％在不同的条件下。为了解决这个问题，我们已经探索了3种风格传输算法（NST，深图象类比和光刻），以及6个未配对的图像到图像转换算法（Compygan，Dualgan，Forkgan，Ganilla，Cut和FastCut） 。这些算法已集成到高级API中，其促进其应用于发生域移位问题的其他上下文。结果。当应用于在不同条件下捕获的图像通过使用样式传输和图像到图像转换算法时，我们大大提高了4分段模型的性能。特别是，有2个样式传输算法（NST和深图谱）和1个未配对的图像到图像转换算法（Cyclegan），可在0.24至76.07的范围内改善模型的IOO。因此，在训练分布之后应用于使用模型获得的类似的性能。
translated by 谷歌翻译
表格是一种广泛类型的基于模板的文档，用于各种各样的领域，包括，等等，管理，医学，金融或保险。由于日常生成的形式增加，这些文件中包括的信息的自动提取大大要求。然而，由于具有不同形式实体位置的模板的巨大分集以及扫描文档的质量，因此在使用扫描形式时，这不是一项直接的任务，以及扫描文档的质量。在此上下文中，存在一个功能由所有形式共享：它们包含作为键值（或标签值）对构建的互连实体的集合以及其他实体，例如标题或图像。在这项工作中，我们通过基于BERT架构组合图像处理技术和文本分类模型来了解以形式的实体链接问题。这种方法实现了最先进的结果，在Funsd DataSet上的F1分数为0.80，关于最佳方法的提高5％。此项目的代码可在https://github.com/mavillot/funsd-entity-linking中获得。
translated by 谷歌翻译